Auto merge of #1682 - yoongkang:new_error_msg, r=alexcrichton

Some project names caused problems as
they already exist in target/debug. When
the projects fail to be created, the error
message was also not descriptive.

This commit adds a blacklist and a more
descriptive error message.

See #1618.

Auto merge of #1687 - huonw:dev-dep-doc-test, r=alexcrichton

Previously a dependency cycle like `a` <-(normal)- `b` <-(dev)- `a`
would mean that importing `b` in `a`'s doc test would fail because the
original `a` library was not found.

Fixes #1686.

test: point doc tests to the main library, for cyclic deps.

Previously a dependency cycle like `a` <-(normal)- `b` <-(dev)- `a`
would mean that importing `b` in `a`'s doc test would fail because the
original `a` library was not found.

Fixes #1686.

Blacklist binary target names

Some binary targets caused problems as
the directory names exist in target/debug. When
the compilation step fails, the error
message was also not descriptive.

This commit adds a blacklist and a more
descriptive error message.

See #1618.

Auto merge of #1657 - alexcrichton:share-target-dirs, r=brson

This commit adds support to allow specifying a custom output directory to Cargo.
First, the `build.target-dir` configuration key is checked, and failing that the
`CARGO_TARGET_DIR` environment variable is checked, and failing that the root
package's directory joined with the directory name "target" is used.

There are a few caveats to switching target directories, however:

* If the target directory is in the current source tree, and the folder name is
  not called "target", then Cargo may walk the output directory when determining
  whether a tree is fresh.
* If the target directory is not called "target", then Cargo may look inside it
  currently for `Cargo.toml` files to learn about local packages.
* Concurrent usage of Cargo will still result in badness (#354), and this is now
  exascerbated because many Cargo projects can share the same output directory.
* The top-level crate is not cached for future compilations, so if a crate is
  built into directory `foo` and then that crate is later used as a dependency,
  it will be recompiled.

The naming limitations can be overcome in time, but for now it greatly
simplifies the crawling routines and shouldn't have much of a negative impact
other than some Cargo runtimes (which can in turn be negated by following the
"target" name convention).

Closes #482

Auto merge of #1685 - mbrubeck:ndebug, r=alexcrichton

The "ndebug" cfg directive was removed in #1444.

[docs] Remove mention of --cfg ndebug

The "ndebug" cfg directive was removed in #1444.

Auto merge of #1680 - steveklabnik:gh1679, r=alexcrichton

Fixes #1679

Remove outdated FAQ entry

Fixes #1679

Auto merge of #1668 - alexcrichton:perf, r=alexcrichton

Playing around with Servo recently I realized that a "noop build" (e.g. `cargo build` had no work to do) took about 5s to complete on my machine! I wasn't super happy with this performance, so I investigated the performance and applied a number of optimizations as part of this PR:

* Primarily, algorithmic changes were made to not traverse the dependency graph too often. There were previously two code paths where each node in the graph would traverse its entire subgraph, causing excessively high runtimes.
* Many minor changes were made to reduce allocations and in general cache results between invocations.
* The Rust version in use was updated to pick up the recent change to look at `DT_DIR` for `DirEntry::file_type`

Overall this PR improves a noop build of Servo from 5s to 0.5s on my machine.

Update rust-url to improve hash/cmp performance

Both no longer require allocations!

Auto merge of #1678 - chris-morgan:master, r=alexcrichton

This regression, introduced in d3f590f59ff72f1d3b457ed3716483ce472053c6 in #1674, caused `make` to fail on machines where `python` is Python 3 rather than Python 2, because `dict.keys()` returns a set-like object that does not support indexing rather than a list.

`date = next(iter(snaps.keys()))` would be an adequate fix too, but I’m not particularly happy with either of them, for neither would stand up to the removal of the `break` statement: one is inadequate because dictionaries are unordered collections, the other is inadequate because `current` would refer to the *last* rather than the *first* snapshot in the file.

Fix snapshot downloading on Python 3

This regression, introduced in d3f590f59ff72f1d3b457ed3716483ce472053c6
in #1674, caused `make` to fail on machines where `python` is Python 3
rather than Python 2, because `dict.keys()` returns a set-like object
that does not support indexing rather than a list.

`date = next(iter(snaps.keys()))` would be an adequate fix too, but I’m
not particularly happy with either of them, for neither would stand up
to the removal of the `break` statement: one is inadequate because
dictionaries are unordered collections, the other is inadequate because
`current` would refer to the *last* rather than the *first* snapshot in
the file.

Cache the canonical URL for a source

This avoids reallocating and recalculating it on each call to
SourceIdInner::{eq, hash}, which are called quite often in the backend.

Optimize SourceId::cmp a bit

Optimize crawl_build_deps to not re-traverse deps

This function previously, for each dependency, traversed the entire dependency
graph. This ended up taking quite a bit of time as a huge amount of hashing was
being done (each of which is somewhat nontrivial). This commit alters the logic
to instead precompute a table of all the native dependencies that each crate
will need, traversing the dependency graph only once instead of repeatedly.

This commit takes a noop build of Servo from 2.1s to 0.4s

Don't allocate in PackageId::hash

This hash function is called an enormous number of times in `cargo_rustc`, so
optimizing it is fairly important, and it's also quite trivial to not allocate a
string at all (`semver::Version::hash` already does everything we need).

Update the Rust snapshot used

At least one important I/O related perf fix has landed on nightly (reading
`DT_DIR` for `DirEntry::file_type`) and there are a few other assorted bug fixes
which are being picked up.

Switch from a custom MTime to the filetime crate

The crate provides the same functionality necessary for Cargo, but it's
maintained elsewhere now.

Don't recurse so often in the dependency graph

Prior to this commit the entire dependency tree would be traversed many, many
times as the short circuits weren't applying fast enough. This commit modifies
the recursion to only happen if the target in question was actually compiled.

This commit saw a noop build time for Servo drop from 4.5s to 2.5s.

Implement caching among fingerprint resolutions

This commit adds support for caching the resolved value of a fingerprint among
calls to `resolve`. Due to the recursive nature of a fingerprint, it means that
`resolve` is currently executed a very large number of times for packages which
at transitively dependend up on many times. By caching the returned value of a
fingerprint we're able to prevent extraneous calls into the filesystem or
extraneous hashing.

This also adds an `Arc` to share a `Fingerprint` among all its dependencies as
each fingerprint stores a list of fingerprints that it depends on, and if
they're not shared then the cache isn't exactly the most helpful!

For a noop `cargo build` on Servo (e.g. everything was already built), this
decreased Cargo's runtime from 5s to ~4.5s

Auto merge of #1674 - wca:add-freebsd-snapshot, r=alexcrichton

This branch includes a change to dl-snapshot.py that makes it less directly linked to the format of snapshots.txt, and also adds an initial FreeBSD x86_64 cargo snapshot.  The original URL for my snapshot is:

http://people.freebsd.org/~will/public_distfiles/cargo-nightly-x86_64-unknown-freebsd.tar.gz

SHA256: de678e858de5d2923cc206b7aa1cc84ddc67be00748160f66fc9b7325409e7c7

Restore the original triple split.

Auto merge of #1664 - IvanUkhov:is-dir, r=alexcrichton

The pull request addresses issue #1663. The problem is that `libgit2` [combines][1] `S_IFDIR ` with `S_IFLNK`, and, therefore, the [strict comparison][2] based on `S_ISDIR` rejects directories.

Regards,
Ivan

[1]: https://github.com/libgit2/libgit2/blob/47f37400253210f483d84fb9c2ecf44fb5986849/src/index.c#L308
[2]: https://github.com/rust-lang/cargo/blob/06dbe6555a4a15f5912bbfc841d446dad4d417cc/src/cargo/sources/path.rs#L150

Add initial FreeBSD x86_64 cargo snapshot.

Make fewer assumptions about snapshots.txt format.

- Read the file into a nested dictionary instead of variables.
- Only apply special cases where they are really needed.
- Apply a transform to the triple argument to get the platform name to
  determine whether there is a snapshot available for it.
- Apply a similar (but slightly different) transform to get the snapshot's
  file name.  It would be better if the file name matched the platform name
  in snapshots.txt, but it's too late for that now (older versions of this
  script will certainly expect the existing name format).

Fix the detection of directories when listing files using libgit2

tests: add a test for submodule packaging

tests: move Git-related routines to support

Auto merge of #1671 - alexcrichton:osx-more-robust, r=huonw

Tests are often flaky because the resolution of the OSX filesystem timestamps
appears to be 1s, so we often have to manually sleep for 1s to ensure that
enough time has passed to guarantee that the timestamp is different (used in
freshness calculations).

Make a freshness test more robust on OSX

Tests are often flaky because the resolution of the OSX filesystem timestamps
appears to be 1s, so we often have to manually sleep for 1s to ensure that
enough time has passed to guarantee that the timestamp is different (used in
freshness calculations).

Auto merge of #1656 - EduardoBautista:cargo-home-absolute-path, r=alexcrichton

OK, this should fix https://github.com/rust-lang/cargo/issues/1655.  It worked on my local.  I am not entirely sure how to write a test for this.  Can I get some help and be pointed in the right direction?

Auto merge of #1659 - alexcrichton:shorten-paths-on-windows, r=alexcrichton

Unfortunately paths are getting a little too long on Windows and libgit2 is
given us back the error:

      Failed to rename lockfile to 'C:/bot/slave/nightly-dist-cargo-win-gnu-64-64/build/target/x86_64-pc-windows-gnu/debug/cit/test-155/home/.cargo/git/checkouts/meta-dep-27104ee87001fd00/08c585f6f3927118da012a2d682b67a789c35211/.git/objects/pack/pack-ba5fd201f4c1be9792e6d54eef194e6b733ae719.idx': The data area passed to a system call is too small.

Windows isn't always the best at handling long paths, so this commit changes the
location of the `cit` output directory where tests are located as well as
shortening the name of each test's folder to hopefully get the folder sizes a
little under the limit.

I believe this test is only failing on the nightly bots because the folder name
for the nightly bots is longer than the folder name for the auto bots. Hurray!

Shorten paths in the test runner for windows

Unfortunately paths are getting a little too long on Windows and libgit2 is
given us back the error:

      Failed to rename lockfile to 'C:/bot/slave/nightly-dist-cargo-win-gnu-64-64/build/target/x86_64-pc-windows-gnu/debug/cit/test-155/home/.cargo/git/checkouts/meta-dep-27104ee87001fd00/08c585f6f3927118da012a2d682b67a789c35211/.git/objects/pack/pack-ba5fd201f4c1be9792e6d54eef194e6b733ae719.idx': The data area passed to a system call is too small.

Windows isn't always the best at handling long paths, so this commit changes the
location of the `cit` output directory where tests are located as well as
shortening the name of each test's folder to hopefully get the folder sizes a
little under the limit.

I believe this test is only failing on the nightly bots because the folder name
for the nightly bots is longer than the folder name for the auto bots. Hurray!

Use absolute path for CARGO_HOME

Auto merge of #1658 - alexcrichton:debug-windows, r=alexcrichton

This test is failing on the win64 bot, and I'm not 100% sure why, so trying to
get some more info out of it.

Try to debug a failing test on the windows bots

This test is failing on the win64 bot, and I'm not 100% sure why, so trying to
get some more info out of it.

Allow specifying a custom output directory

This commit adds support to allow specifying a custom output directory to Cargo.
First, the `build.target-dir` configuration key is checked, and failing that the
`CARGO_TARGET_DIR` environment variable is checked, and failing that the root
package's directory joined with the directory name "target" is used.

There are a few caveats to switching target directories, however:

* If the target directory is in the current source tree, and the folder name is
  not called "target", then Cargo may walk the output directory when determining
  whether a tree is fresh.
* If the target directory is not called "target", then Cargo may look inside it
  currently for `Cargo.toml` files to learn about local packages.
* Concurrent usage of Cargo will still result in badness (#354), and this is now
  exascerbated because many Cargo projects can share the same output directory.
* The top-level crate is not cached for future compilations, so if a crate is
  built into directory `foo` and then that crate is later used as a dependency,
  it will be recompiled.

The naming limitations can be overcome in time, but for now it greatly
simplifies the crawling routines and shouldn't have much of a negative impact
other than some Cargo runtimes (which can in turn be negated by following the
"target" name convention).

Closes #482

Bump Cargo.toml's version to 0.3.0

Auto merge of #1653 - alexcrichton:update-tar, r=alexcrichton

Fixes some extraction bugs when unpacking archives.

Auto merge of #1654 - alexcrichton:udpate-ssh2-sys, r=alexcrichton

The bots are trying to build something which isn't needed and is failing on
nightlies, so the build script has been updated to not bulid this unnecessary
artifact as part of libssh2

Auto merge of #1642 - alexcrichton:opt-fs, r=huonw

Traversing large directory trees can take quite some time, and this commit optimizes a few locations to reduce the number of calls to `fs::metadata`.

Auto merge of #1641 - alexcrichton:update-less, r=brson

Updating a path source can be a possibly expensive operation (lots of
directories that need to be traversed), and currently the root path source is
updated three times:

* Once when the root package is initially loaded.
* Again when the first resolution pass happens over a graph.
* Finally a third when the second resolution pass happens over the graph.

This commit pushes through the original `Source` trait object into the
`PackageRegistry` and removes the implicit call to `add_sources`, pushing that
call up to the stack a bit.

Auto merge of #1639 - jimmycuadra:jobs-flag-docs, r=wycats

Addresses #1591.

I believe this issue only affects `cargo bench` and `cargo test`. If it's applicable to any of the other commands, let me know and I'll amend this.

Auto merge of #1637 - dhuseby:bitrig_snapshot, r=alexcrichton

adds the bitrig cargo snapshot.  d/l the tarball from here: http://blog.linuxprogrammer.org/cargo-nightly-x86_64-unknown-bitrig.tar.gz

Update libssh2-sys's build script

The bots are trying to build something which isn't needed and is failing on
nightlies, so the build script has been updated to not bulid this unnecessary
artifact as part of libssh2

Auto merge of #1617 - alexcrichton:fix-kind-after-the-fact, r=brson

The wrong kind was mistakenly used in the case of having a dependency on a
plugin.

Unfortunately I don't know of a great way to test this, so no unit test is included for now.

Closes #1612

Auto merge of #1651 - Roysten:master, r=alexcrichton

fix name escaping issue in Cargo.toml (#1635) and added corresponding
test

Update the tar-rs dependency

Fixes some extraction bugs when unpacking archives.

Merge pull request #1640 from alexcrichton/fix-rel-config

Fix a relative `rustc` spec to .cargo/config

Reduce calls to fs::metadata in list_git_files

When walking over entries in the index of a git repository the file type can be
known without a syscall (in the form of a libc constant), but walking over
untracked files still requires a syscall to determine if it's a directory.

Optimize the number of calls to fs::metadata

When iterating over `DirEntry` values the file type of the entry can typically
be determined without a syscall, so use the new unstable APIs in `std::fs` to
avoid an extra call to `fs::metadata`. When traversing large directory trees the
improvement is quite noticeable!

Don't update the same path source multiple times

Updating a path source can be a possibly expensive operation (lots of
directories that need to be traversed), and currently the root path source is
updated three times:

* Once when the root package is initially loaded.
* Again when the first resolution pass happens over a graph.
* Finally a third when the second resolution pass happens over the graph.

This commit pushes through the original `Source` trait object into the
`PackageRegistry` and removes the implicit call to `add_sources`, pushing that
call up to the stack a bit.

Fix a relative `rustc` spec to .cargo/config

The paths were mistakenly relative to .cargo/config, not the directory
containing .cargo/config

Clarify that --jobs doesn't affect parallelism when running the resulting binary.

oops forgot to grab the bitrig line

updating snapshot scripts to support bitrig

adding bitrig cargo snapshot

Auto merge of #1629 - alexcrichton:env-rustc, r=alexcrichton

These commits add two vectors through which the compiler run can be configured:

* A `RUSTC` environment variable
* A `build.rustc` configuration variable in a `.cargo/config` file

Add rustc/rustdoc config keys to Cargo config

In addition to global RUSTC/RUSTDOC env vars, this commit recognizes
`build.rustc` and `build.rustdoc` as configuration keys for Cargo to instruct
what tools should be used instead of the default.

Closes #967

Auto merge of #1625 - alexcrichton:ignore-dotfile, r=brson

Whenever Cargo infers various targets for a project it currently picks up all
files in associated folders, but dotfiles are a common example of files which
editors generate which Cargo should not pick up, so this commit ignores all
dotfiles in the folders that it is looking at.

Closes #1615

Auto merge of #1632 - hansjorg:master, r=alexcrichton

Check for existence of file in dl_path before fetching with curl.
If file exists, compare hash with expected.

Also wrap tarfile.open() in contextlib.closing() to support older
python versions (<= 2.6).

This fixes part of #1525.

Make dl-snapshot.py avoid dl'ing existing files

Check for existence of file in dl_path before fetching with curl.
If file exists, compare hash with expected.

Also wrap tarfile.open() in contextlib.closing() to support older
python versions (<= 2.6).

This fixes part of #1525.

Remove borrowed pointer in Config

Not having a lifetime parameter on the ubiquitous Config structure allows a
great deal of other lifetime annotations to be removed and should make dealing
with storage of Config in a structure much easier (only one lifetime to deal
with, not two).

Recognize RUSTC/RUSTDOC environment variables

Auto merge of #1628 - alexcrichton:update-deps, r=alexcrichton

Opt in to nightly features for a few, and update others to get bitrig support

Update cargo deps

Opt in to nightly features for a few, and update others to get bitrig support

Auto merge of #1627 - brson:version, r=alexcrichton

So we have a unique version number to pair with Rust 1.1.

Bump version to 0.3

Auto merge of #1619 - Eljay:fix-doc-open, r=alexcrichton

Fixes #1595.

Don't auto-build dotfiles in inferred folders

Whenever Cargo infers various targets for a project it currently picks up all
files in associated folders, but dotfiles are a common example of files which
editors generate which Cargo should not pick up, so this commit ignores all
dotfiles in the folders that it is looking at.

Closes #1615

Reuse existing crate_name method instead.

Auto merge of #1616 - sbeckeriv:master, r=alexcrichton

This resolves #1379

Auto merge of #1620 - Eljay:empty-package-name, r=alexcrichton

Some simple validation for package/target names. Currently failure for these cases happens later in rustc (e.g. "crate name must not be empty") or at the os level (e.g. "Is a directory" error when package name is empty on linux). Better to handle this earlier so it's consistent across platforms.

Still could do with a lot of validation for invalid characters etc. though.

Fix whitespace

Now matches test output.

Update text per comment in pull request.

Better error message with details around lib and bin.

Added some checks for empty package and target names.

Fix `doc --open` crate name.

Update error message with more details.

This resolves #1379.

Use the right Kind when calculating compiled libraries

The wrong kind was mistakenly used in the case of having a dependency on a
plugin.

Auto merge of #1611 - IvanUkhov:missing-bracket, r=alexcrichton

Add a missing square bracket

Auto merge of #1604 - alexcrichton:update, r=alexcrichton

There was a lifetime parameter regression in git2-rs which prevented Cargo from
building on nightly

Update Cargo to rust master

There was a lifetime parameter regression in git2-rs which prevented Cargo from
building on nightly

Auto merge of #1598 - critiqjo:bash-complete, r=alexcrichton

Fixes #1548
@gentoo90 is it possible to handle long-opts such as `--url=` nicely?
@jeffs please test this out in OS X default bash version...

Bash completion: bash 3 compatibility

Auto merge of #1568 - sondrele:rustc-subcommand, r=alexcrichton

## Work in progress
I have followed issue #595 for a while now. I hope that this PR can solve it, after it's done of course.

@alexcrichton: on IRC the other day, you suggested adding a `Vec<String>` to the `CompileOptions`. I have done this, but wasn't sure what the best way to identify the correct `Target` would be, so currently everything gets compiled with the additional arguments.
I considered adding a `Target` structure to the `CompileOptions` as well, and then in `cargo_rustc::build_base_args` only append the arguments if the `Target` matches. What do you think about this? Is there an easier way of figuring out the correct `Target`?

r? @alexcrichton

Auto merge of #1590 - alexcrichton:issue-1589, r=brson

Knowing the target architecture for calculating the filename is needed when
calculating the name of a dynamic library, and previously this was only taken
into account when a target was a plugin. Targets can, however, request that they
are built as a dynamic library which also needs to be taken into account.

Closes #1589

Add a Kind argument to target_filenames

Knowing the target architecture for calculating the filename is needed when
calculating the name of a dynamic library, and previously this was only taken
into account when a target was a plugin. Targets can, however, request that they
are built as a dynamic library which also needs to be taken into account.

Closes #1589

Auto merge of #1586 - gentoo90:bash-comp, r=wycats

Fix inability to complete more than one option of a command.
Add missing options.

Bash-completion minor improvements

Fix inability to complete more than one option of a command.
Add missing options.

Suggest adding flags to filter the package in the error message

Cleanup:
- Dereference arguments before matching
- use square brackets for vec! macro

Update subcommand documentation

Auto merge of #1585 - tshepang:typos, r=alexcrichton

fix typos caught by codespell

Auto merge of #1584 - alexcrichton:issue-797, r=brson

Closes #797
Closes #1575

This is a reopening of #1170 but I see the two closed issues as important enough that this needs to land in some form or another, and I'm more comfortable with always taking into account untracked files than only if there isn't a commit yet.

Scan untracked files in git for packaging/deps

Closes #797
Closes #1575

Auto merge of #1577 - alexcrichton:issue-1567, r=brson

Previously if a package had been activated without the default feature and then
it was attempted to be reactivated with the default feature, resolution wouldn't
continue and actually activate the default feature. This means that the
fingerprint on the other end of compilation would be slightly different because
the set of activated features would be slightly different, causing spurious
recompiles.

Closes #1567